Thời trẻ, nhờ vào chức vụ của cha là Phá Khương tướng quân Tân Vũ Hiền, Tân Khánh Kỵ được bổ nhiệm là Hữu hiệu thừa. Ông từng theo chân Trường La hầu Thường Huệ lập đồn điền phòng thủ ở Xích Cốc thành,[2] giao chiến với Hấp hầu, Ô Tôn, lập được không ít chiến công. Tân Khánh Kỵ thường xông pha hiểm trận đánh tan quân địch. Thường Huệ tấu báo công lao của Khánh Kỵ về triều nên ông được phong là Thị lang, hiệu úy, đưa quân đồn trú ở nước Yên Kỳ. Sau khi mãn hạn ông về lại triều đình và được bổ nhiệm là Yết giả.

Sau khi Hán Nguyên Đế lên ngôi (49 TCN), Tân Khánh Kỵ được phong là trưởng sử Kim Thành,[3] cử mậu tài[4] và bổ nhiệm làm Lang trung, Xa kỵ tướng quân. Tân Khánh Kỵ chân thành, giỏi giang nên được các quan viên trong triều trân trọng. Ít lâu sau, ông được thăng thành thái thú Trương Dịch rồi thái thú Tửu Tuyền. Ông đi tới đâu là nức tiếng tới đấy. Năm 32 TCN thời Hán Thành Đế, Tân Khánh Kỵ được phong là Quang lộc đại phu, Tả tào trung lang tướng, rồi đến Chấp kim ngô.

Cha của Tân Khánh Kỵ vốn có bất hòa với bên Hậu tướng quân Triệu Sung Quốc. Hai nhà đều là tướng môn, thù hận tới độ họ Tân giết chết một người bên họ Triệu. Việc đó làm liên lụy tới Tân Khánh Kỵ, ông bị tước bớt quan chức, chỉ còn là thái thú Tửu Tuyền. Hơn một năm sau, Đại tướng quân Vương Phượng lại tiến cử Tân Khánh Kỵ với triều đình, kể ràng ông có nhiều công trạng ở hai quận Trương Dịch, Tửu Tuyền; lại là người chính trực, nhân nghĩa dũng cảm, mưu lược và thấu hiểu việc quân, dân tình mến mộ, xứng đáng là trụ cột của nước nhà. Thành Đế nghe xong liền khôi phục tước vị Quang lộc đại phu, Chấp kim ngô cho Khánh Kỵ. Mấy năm sau, Tân Khánh Kỵ lại liên quan tới việc phạm pháp nên bị điều làm thái thú Vân Trung, không may lại giữ chức Quang lộc huân.

Về sau thừa tướng tư trực Hà Vũ mới dâng sớ ca ngợi Tân Khánh Kỵ: Cương nghị, đôn hậu, nhìn xa trông rộng, nhiều lần phá địch ở biên cương, các di, rợ đều tỏ, xin triều đình nghĩ tới an nguy để bổ nhiệm Tân Khánh Kỵ coi sóc về việc quân. Thế là vào năm năm 20 TCN, triều đình phong ông là Hữu tướng quân chư lại tán kỵ Cấp sự trung, đến năm 18 TCN kiêm nhiệm thêm chức Quang lộc huân. Năm năm 15 TCN ông được bổ nhiệm là Tả tướng quân.

Năm 12 TCN, ông mất khi đang tại chức, ba người con cũng đều là tướng soái. Con trưởng Tân Thông là Hộ Khương hiệu úy, con thứ Tân Tuân là Hàm Cốc quan đô úy, con út Tân Mậu là Thủy Hành đô úy, ra ngoài làm quận thú.